Lee bertemu isteri pertamanya, Dawn Kathleen Glen, seorang pelajar Bahasa Inggeris, ketika belajar di Cambridge. Mereka mempunyai dua anak lelaki, Douglas dan Vivien Leslie, di Hong Kong. Glen kembali ke Britain dengan baik dengan Vivien selepas terjatuh dari ibu Lee, yang tidak menyukai cita-cita menantu perempuan untuk merokok dan kereta sukan. Lee berkahwin dengan isteri keduanya, Kwan Choi Lin, yang mempunyai tujuh anak lagi. Beliau menamakan anak-anaknya sempena tempat-tempat di mana mereka dilahirkan.[13]

Dua anaknya juga memasuki politik. Douglas Lee Kim Kiu berjaya bertanding pada pilihan raya 1952 Kuala Lumpur manakala Alexander Lee Yu Lung secara ringkas di MCA sebelum menyertai Gerakan dan menerima beberapa jawatan timbalan menteri antara 1989 dan 1995.[3]